CODE: Cross-Modal Calibration and Dynamic Suppression for Open World Object Detection
CODE:面向开放世界目标检测的跨模态校准与动态抑制
🧭 多模态基础模型的开放世界检测
Beijing Institute of Technology
提出推理时跨模态校准与动态抑制框架,在 OWOD 基准上 U-mAP/K-mAP 分别提升 2.6/2.3 点
📌 工作参考价值(4 点)
- 多模态检索/推荐中常见的单向 text-to-vision 匹配可用全局视觉原型校准文本驱动分数,缓解文字描述与商品图像之间的语义歧义,适合商品搜索、广告创意匹配等场景。
- 对冷启动或未入库新品,可借鉴「从局部视觉响应测量分类犹豫度」的思路,检测模型不确定的区域并将其强化为潜在未知商品,辅助发现新类目或 UGC 中的未标商品。
- 在 query/商品类目分类中,用 margin-aware 动态离群点抑制替代刚性阈值,能保留决策边界附近的模糊样例,减少对长尾 query 的误杀,提升召回。
- 整套方法是推理时框架,不重新训练基础模型,可作为插件层覆盖现有 VLM/多模态 API,适合快速验证跨模态校准与 OOD 检测策略。